跳转至

文章背景与核心概要

利用大语言模型（LLM）作为教师模型对大规模文本语料进行标注，是生成高质量训练数据的关键步骤。然而，在处理数百万条数据时，如何平衡成本效益（单位成本下的标注质量）与基础设施可靠性（在任务倾斜和故障频发的环境下保持 GPU 集群的高效运转）成为了主要挑战。

本文提出了一种简单且高度可复现的流水线方案，通过三大核心机制解决了上述问题：一是采用“工作窃取环形池”机制，通过原子条件写入和过期声明清理实现任务的动态负载均衡与容错；二是引入“内存感知 GPU 并发”技术，根据 GPU 显存容量动态调整节点内的模型副本数量；三是建立了一套“重标注基准测试方法”，通过对带有金标准标签的公开数据集进行重标注，量化评估教师模型的性能与成本。实验结果表明，该方案在任务倾斜环境下可实现 3.4 倍的吞吐量提升，并具备极高的容错能力。

A Scalable Pipeline for LLM-Teacher Distillation Labeling: Work-Stealing Job Scheduling and Memory-Aware GPU Concurrency

Authors: Ravi Satya Durga Prasad Yenugula
Submitted On: 17 August 2026
Primary Subject: Distributed, Parallel, and Cluster Computing (cs.DC)
Additional Subjects: Artificial Intelligence (cs.AI), Computation and Language (cs.CL), Machine Learning (cs.LG)
arXiv: 2608.15975 [cs.DC] | DOI: 10.48550/arXiv.2608.15975
Code & Artifacts: GitHub Repository

Executive Summary

使用大语言模型（LLM）教师对大型文本语料库进行标注，是规模化生成训练数据的关键步骤。然而，处理数百万个项目在成本效益（每美元的标签质量）和基础设施可靠性（在倾斜且易发生故障的工作负载下保持 GPU 工作集群的忙碌状态）方面带来了巨大挑战。

Labeling large text corpora using Large Language Model (LLM) teachers is a critical step for generating training data at scale. However, processing millions of items creates substantial challenges regarding cost-efficiency (label quality per dollar) and infrastructure reliability (keeping a fleet of GPU workers busy under skewed, failure-prone workloads).

本文介绍了一种简单、高度可复现的流水线，通过三个核心机制来解决这些挑战： 1. 工作窃取环形池（Work-Stealing Ring Pool）： 工作节点管理各自的队列，在本地处理完任务后，通过原子条件写入从环形后继节点安全地窃取任务，并通过过期声明清理（stale-claim sweeping）实现崩溃容错。 2. 内存感知 GPU 并发（Memory-Aware GPU Concurrency）： 根据可安全放入可用 GPU 内存的模型副本确切数量，动态调整每个节点的并行度。 3. 重标注基准测试方法（Relabeling Benchmark Methodology）： 通过使用预先存在的金标准标签对公共数据集进行重标注来评估教师性能，并通过一致性指标计算质量，通过测量吞吐量计算成本。

This paper introduces a simple, highly reproducible pipeline to solve these challenges through three core mechanisms: 1. Work-Stealing Ring Pool: Workers manage individual queues, draining them locally before securely stealing tasks from ring successors using atomic conditional writes and crash tolerance via stale-claim sweeping. 2. Memory-Aware GPU Concurrency: Dynamically sizes per-node parallelism based on the exact number of model copies that can fit safely into available GPU memory. 3. Relabeling Benchmark Methodology: Evaluates teacher performance by relabeling public datasets with pre-existing gold labels, calculating quality via agreement metrics and cost via measured throughput.

Key Results

  • 吞吐量： 在倾斜工作负载下，其吞吐量可达到静态分片（static sharding）的 3.4 倍，而在零倾斜情况下则表现相当。
  • 容错性： 当一半活跃工作节点在运行中突然终止时，该方案丢失任务数为 0（相比之下，静态分片会丢失 953 个任务）。
  • 实践验证： 使用商品级硬件和公共数据，为在反讽和情感分类任务上评估的指令微调教师提供了具体的质量和成本基准。
  • Throughput: Sustains up to 3.4× the throughput of static sharding under skewed workloads, while matching it perfectly under zero skew.
  • Fault Tolerance: Loses 0 out of 2,000 tasks when half of the active workers are abruptly terminated mid-run (compared to 953 lost tasks under static sharding).
  • Practical Validation: Delivers concrete quality and cost benchmarks for an instruction-tuned teacher evaluated on irony and sentiment classification tasks using commodity hardware and public data.